# coding= utf-8

# 调用两个常用基本爬虫调用库
import requests
import bs4
# 常用解析库
import lxml
import urllib
# 调用系统相关库
import os

# 定义斗图网网页基础URL(不变)定义，之后即可赋值数字对应第几页
# BASE_PAGE_URL = 'https://www.doutula.com/photo/list/?page='
# # 每页页面URL存储
# PAGE_URL_LIST = []
# for x in range(1,610):
#     url = BASE_PAGE_URL + str(x)
#     print(url)

# 针对一个页面进行实际操作
URL =  'https://www.doutula.com/photo/list/?page=1'
# 调用requests库爬取网页
res = requests.get(URL)
# 获取源代码所有内容.content
print(res.content)
content = res.content

# 利用BeautifulSoup()进行进一步的解析(lxml),lxml解析库需要提前引入
soup = bs4.BeautifulSoup(content, 'lxml')
print(soup)
# 获取所有html中img标签内的内容，用class的值作为划分的标准,class也作为新参数
img_list = soup.find_all('img', attrs={'class':'img-responsive lazy image_dta'})

for img in img_list:
    # print(img) 拿取所有img标签的内容
    # 拿到img标签下 通过字典的形式取出实际图片的网址信息,data-backup键所对应的有用值
    print(img['data-backup'])
    # 利用横线进行分割信息
    print('-'*30)

#  下载图片(由某个固定图片地址)
url_install = 'http://img.doutula.com/production/uploads/image//2019/04/10/20190410855291_ElQbWo.jpg!dta'
# python2 与 python3 中urllib库中的引入urlretrieve函数的引入是不同的
urllib.request.urlretrieve(url_install,'test1.jpg')

# 下载图片至指定地址(image_install)
url_install_image_install_dictorary = 'http://img.doutula.com/production/uploads/image//2019/04/10/20190410855619_ifzhvq.jpg'
# 字符串的split()分割形成的是一个列表
split_list = url_install_image_install_dictorary.split('/')
# 列表的pop()返回的是列表的最后一个值
filename = split_list.pop()
# 形成新的路径并结合,一般前面是一个路径后面是一个文件的格式名字
path = os.path.join('image_install',filename)
# 下载图片至指定位置
urllib.request.urlretrieve(url_install_image_install_dictorary,path)





